现代工业设施在生产过程中生成大量的原始传感器数据。该数据用于监视和控制过程，可以分析以检测和预测过程异常。通常，数据必须由专家注释，以进一步用于预测建模。当今的大多数研究都集中在需要手动注释数据的无监督异常检测算法或监督方法上。这些研究通常是使用过程模拟器生成的狭窄事件类别的数据进行的，并且在公开可用的数据集上很少验证建议的算法。在本文中，我们提出了一种新型的方法，用于用于工业化学传感器数据的无监督故障检测和诊断。我们根据具有各种故障类型的田纳西州伊士曼进程的两个公开数据集证明了我们的模型性能。结果表明，我们的方法显着优于现有方法（固定FPR的+0.2-0.3 TPR），并在不使用专家注释的情况下检测大多数过程故障。此外，我们进行了实验，以证明我们的方法适用于未提前不知道故障类型数量的现实世界应用。
translated by 谷歌翻译
Use of graphs to represent molecular crystals has become popular in recent years as they provide a natural translation from atoms and bonds to nodes and edges. Graphs capture structure, while remaining invariant to the symmetries that crystals display. Several works in property prediction, including those with state-of-the-art results, make use of the Crystal Graph. The present work offers a graph based on Point-wise Distance Distributions which retains symmetrical invariance, decreases computational load, and yields similar or better prediction accuracy on both experimental and simulated crystals.
translated by 谷歌翻译
微分方程用于多种学科，描述了物理世界的复杂行为。这些方程式的分析解决方案通常很难求解，从而限制了我们目前求解复杂微分方程的能力，并需要将复杂的数值方法近似于解决方案。训练有素的神经网络充当通用函数近似器，能够以新颖的方式求解微分方程。在这项工作中，探索了神经网络算法在数值求解微分方程方面的方法和应用，重点是不同的损失函数和生物应用。传统损失函数和训练参数的变化显示出使神经网络辅助解决方案更有效的希望，从而可以调查更复杂的方程式管理生物学原理。
translated by 谷歌翻译
2022-06-28
这项工作介绍了Revsilo，这是双向多尺度特征融合的第一个可逆模块。像其他可逆方法一样，Revsilo消除了通过重新计算来存储隐藏激活的需求。但是，现有的可逆方法不适用于多尺度功能融合，因此不适用于大型网络。双向多尺度功能融合促进了本地和全球连贯性，并已成为针对空间敏感任务的网络的事实上的设计原理，例如hrnet和效率。当与高分辨率输入配对时，这些网络可以在各种计算机视觉任务中获得最新的结果，但是训练它们需要大量的加速器内存来节省大型的多分辨率激活。这些内存需求上限网络大小并限制进度。利用可逆的重新计算，Revsilo可以减轻记忆问题，同时仍在分辨率范围内运行。堆叠Revsilos，我们创建了RevBIFPN，这是一个完全可逆的双向功能金字塔网络。对于分类，RevBIFPN在使用高达19.8倍的训练记忆时与诸如EdgitionNet之类的网络具有竞争力。当对可可进行微调时，RevBIFPN使用更少的MAC和降低训练时间内存的MAC可提供高达2.5％的AP提升。
translated by 谷歌翻译
在这项工作中，我们提出了一种从IDE中从用户那里收集完成使用日志的方法，并使用它们来训练基于机器学习的模型来排名完成候选。我们开发了一组描述候选人及其上下文的功能，并在基于Intellij的IDE的早期访问程序中部署了其匿名集合。我们使用日志从用户那里收集代码完成数据集，并使用它来训练排名catboost模型。然后，我们在两种设置中对其进行了评估：在收集到的完成的一组持有的集合中，并在IDE中的两个不同组的用户对单独的A/B测试中进行了评估。我们的评估表明，使用对过去用户行为日志训练的简单排名模型可显着改善代码完成体验。与默认的基于启发式的排名相比，我们的模型表明，在2.073中执行IDE完成所需的打字操作数量减少到1.832。该方法遵守隐私要求和法律约束，因为它不需要收集个人信息，在客户方面执行所有必要的匿名化。重要的是，它可以连续改进：实施新功能，收集新数据并评估新模型 - 这样，我们自2020年底以来就一直在生产中使用它。
translated by 谷歌翻译
随着机器学习系统的计算要求以及机器学习框架的规模和复杂性的增加，基本框架创新变得具有挑战性。尽管计算需求驱动了最近的编译器，网络和硬件的进步，但通过机器学习工具对这些进步的利用却以较慢的速度发生。这部分是由于与现有框架原型制作新的计算范式有关的困难。大型框架将机器学习研究人员和从业人员作为最终用户的优先级优先，并且很少关注能够向前推动框架的系统研究人员 - 我们认为两者都是同等重要的利益相关者。我们介绍了手电筒，这是一个开源库，旨在通过优先考虑开放式，模块化，可定制的内部设备以及最新的，可用于研究的模型和培训设置，以刺激机器学习工具和系统的创新。手电筒使系统研究人员能够快速原型并尝试机器学习计算中的新思想，并且开销低，与其他流行的机器学习框架竞争并经常超过其他流行的机器学习框架。我们将手电筒视为一种工具，可以使可以使广泛使用的图书馆受益，并使机器学习和系统研究人员更加紧密地结合在一起。手电筒可从https://github.com/flashlight/flashlight获得。
translated by 谷歌翻译
图神经网络（GNN）是机器学习中非常流行的方法，并且非常成功地应用于分子和材料的性质。众所周知，一阶GNN是不完整的，即存在不同的图形，但在通过GNN的镜头看到时似乎相同。因此，更复杂的方案旨在提高其分辨能力。但是，在分子（以及更一般的点云）上的应用，为问题添加了几何维度。构造分子图表表示原子的最直接和普遍的方法将原子视为图中的顶点，并在所选截止中的每对原子之间绘制一个键。键可以用原子之间的距离进行装饰，所得的“距离图NN”（DGNN）在经验上已证明了出色的分辨能力，并广泛用于化学ML，所有已知的不可区分的图都在完全连接的极限中解析。在这里，我们表明，即使对于由3D原子云引起的完全连接图的受限情况也不完整。我们构造了一对不同的点云对产生图形，对于任何截止半径，基于一阶Weisfeiler-Lehman测试都是等效的。这类退化的结构包括化学上可见的构型，为某些完善的GNN架构的原子学机器学习设定了最终的限制。在原子环境描述中明确使用角度或方向信息的模型可以解决这些变性。
translated by 谷歌翻译
我们呈现Turbo-SIM，是可以用作生成模型的信息理论原理的广义自动统计学框架。通过最大化输入和编码器和解码器的输出之间的相互信息，我们能够重新发现通常在对手自身额外的损失术语和生成的对抗网络中发现的损失术语，以及各种更复杂的相关模型。我们的广义框架使这些模型在数学上解释，通过分别设置每个损失项的重量来允许新的新功能。该框架还与编码器的内在架构和解码器无关，因此为整个网络的构建块留下了广泛的选择。我们将Turbo-SIM应用于碰撞机物理生成问题：在实验中检测到检测后，在碰撞之后，在碰撞之后的理论空间，在观察空间之后，从理论空间转换几个粒子的性质。
translated by 谷歌翻译
条件生成是生成问题的子类，其中生成的输出由属性信息调节。在本文中，我们提出了一种随机对比条件生成的对抗网络（InfoSCC-GaN），具有易诺的潜在空间。 InfoSCC-GaN架构基于内置于Infonce Paradigm的无监督对比编码器，属性分类器和Eigengan生成器。我们提出了一种新颖的训练方法，基于每次$ N $第-th迭代的外部或内部属性使用外部或内部属性，使用预先培训的对比编码器和预先训练的分类器。基于输入数据和潜在空间表示之间的相互信息最大化以及潜在空间和生成的数据来导出所提出的INFOSCC-GAN。因此，我们展示了训练目标函数与上述信息理论制剂之间的联系。实验结果表明，InfoSCC-GaN在AFHQ和Celeba数据集上的图像生成中优于“vanilla”Eigengan。此外，我们通过进行消融研究调查鉴别员架构和损失功能的影响。最后，我们证明，由于eigengan发电机，所提出的框架与Vanilla确定性GAN相比，与现有框架相比，与Vanilla确定性GAN相比，与Vanilla确定性GAN相反。代码，实验结果和演示可在HTTPS://github.com/vkinakh/infoscc-在线提供。
translated by 谷歌翻译
不连续分布的生成是大多数已知框架的困难任务，例如生成的自动化器和生成的对抗网络。生成的非可逆模型无法准确地生成此类分布，需要长期训练，并且经常受模式崩溃。变形AutoEncoders（VAES），基于保持潜在空间的想法是为了简单的采样，允许准确的重建，同时在生成任务中遇到重大限制。在这项工作中，我们使用预先训练的对比编码器来获得聚类潜空间来保持潜在的空间。然后，对于每个群集表示单向子多种子区，我们训练专用的低复杂性网络以从高斯分布生成该子多种。所提出的框架基于输入数据和潜在空间表示之间的相互信息最大化的信息定理制定。我们派生了成本函数与信息理论制定之间的联系。我们将我们的方法应用于合成2D分布，以展示使用连续随机网络的重建和产生不连续分布的方法。
translated by 谷歌翻译